WebRetriever: A Large-Scale Comprehensive Benchmark for Efficient Web Agent Evaluation
WebRetriever：大规模全方位Web Agent高效评估基准
🧭 Agent 评估基准 · 多域导航
Mininglamp Technology · University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences
提出涵盖800网站1550任务的多域Web Agent基准与基于交互上下文的评估框架，揭示导航成功率不足以衡量真实效果
📌 工作参考价值（4 点）
- 评估 Agent 时不能只看导航成功率，参考文中三个协议：纯导航、知识辅助交互、端到端信息抽取，可分层诊断 Agent 在搜索/推荐场景中的真实能力。
- LLM-as-Judge 不应仅依赖页面截图，NavEval 强调记录并输入 query 构造、过滤/点击序列等交互上下文，能更准确评判 query 改写、筛选器使用等细粒度动作，可直接迁移至电商搜索 Agent 的自动评测。
- 构建多领域任务集（消费者、专业、企业站点）确保泛化测试，电商/广告推荐 Agent 可借鉴其意图覆盖方法，将用户需求细化为搜索、对比、属性过滤等原子任务。
- 基准提供 1,550 个真实任务，可作为强化学习或 Prompt 优化的 reward 信号源，工程上可利用其诊断结论针对性提升 Agent 在复杂信息提取中的鲁棒性。